Ông có 3 đời vợ, bà Chánh thất là Trương Thị Hướng mất lúc mới 23 tuổi. Ông tục huyền với bà Nguyễn Thị Luyến, bà mất năm 1911 lúc ông còn ở tù Côn Đảo. Thời gian ở Côn Đảo,do ngoại hình to lớn, vạm vỡ, sức mạnh hơn người, ông thường gánh vác dùm phần việc vác đá, vác bao lúa khi thì cho ông Huỳnh Thúc Kháng, khi thì cho ông Lê Bá Trinh. Do mối thâm tình đó, nên ông Lê Bá Trinh có hứa nếu có hai còn sống về được quê nhà sẽ gái em gái cho ông[9]. Người em gái đó chính là bà Lê Thị Bằng, người vợ thứ ba, cưới năm 1921 sau khi ông từ Côn Đảo trở về.

Con trai trưởng của ông là kỹ sư Phan Mính, từng tham gia chiến đấu trong Thế chiến thứ nhất, sau khi về nước đã làm đơn khiếu nại đòi trả tự do cho cha. Tuy nhiên, chỉ 1 năm sau khi cha qua đời, ông Phan Mính cùng với người anh em cột chèo là nhà báo Diệp Văn Kỳ bị một người bên vợ là Nguyễn Chín (út) giết chết ở Củ Chi trong năm 1945 để đoạt của chứ không phải bị giết vì lý do chính trị [10].

Ông có có một người con trai thứ tên là Phan Trọng Thỉnh, người được ông giao lại quản lý sự nghiệp tại Quảng Bình, gần tương ứng với khu vực Thị trấn Nông trường Lệ Ninh ngày nay.